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常 准确 性 较 差 。 结 合 分 类 和 基于 实例 的 学 习 方法 ， 
作业 的 相似 作业 ， 并 使 用 其 历史 信息 预测 当前 作业 执行 
用 户 请 求 处 理 器 
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(中 国 工 程 物理 研究 院 计算 机 应 用 研究 所 , 四 川 绵阳 621900) 
摘 HR. 在 基于 回填 策略 的 调度 系统 中 ， 作 业 的 预 估 执行 时 间 是 不 可 缺少 的 参数 。 传 统 基于 用 户 预 估 的 执行 时 间 通 


数 、 用 户 请 求 ( 预 估 ) 执 行 时 间 和 用 户 请 求 内 存量 等 必 
人 数值 实验 表明 ， 相 对 于 文献 [1]， 在 使 用 更 少 


综合 


使 用 模板 相似 和 数值 相似 方法 ， 在 历史 调度 数据 中 获取 当前 
于 时 间 。 dn 分 组 名 、 队 列 名 、 应 用 名 、 
行 训练 和 预测 ， 算 法 中 涉及 的 参数 使 用 遗 


WR RR E 并 获 


得 了 更 低 的 平均 绝对 误差 T s 平均 绝对 误差 分 别 降低 了 43% 和 77% 。 研 究 
E a 的 影响 ， 对 结 行 了 初步 分 析 ， 并 指出 了 今后 的 改进 方向 。 
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On-line prediction of application using schedule historical data 
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Abstract: In the scheduling system based on the backfilling strategy, the estimated application runtimes is an indispensable 


parameter. Traditional runtimes based on user estimating is usually less accurate. In this paper, a combination of the 


categorization and the instance based on learning methods defined the job similarity. This paper used the template similarity 


and numerical similarity method to find the similar jobs of the future one, and used historical data to predict the runtimes. 


The proposed algorithm only take seven job attributes into account. The attributes include “user name 


“queue name 


» € 


, "application name 


» € 


, “requested number of processors", 


»oc 


group name", 


» 66 » € 


requested runtime", “requested denos It applied 


Genetic Seii to train the ii parameters, and used similar jobs attributes to predict runtimes. Compared with the 


literature [1], experimental results show that the predictor achieved a similar underestimate rate on the premise of using 


fewer parameters. Moreover, the proposed predictor gets a lower mean absolute error. On the HPC2N04 and HPC2N05 


datasets, the mean absolute errors reduced 43% and 77% respectively. This paper studied the effecting of using online 


prediction to replace user estimation on job scheduling, preliminary analyzed the results and pointed out the future 


improvement directions. 


Key words: application runtimes prediction; job scheduling; genetic algorithm; K-nearest neighbor 


0 al& 另 一 种 获得 作业 预 估 时 间 的 方法 是 由 系统 自动 生成 预 估 
n 时 间 。 例 如 文献 [1,3,6,8,9,13,15] 中 基于 历史 数据 挖掘 的 预测 
基于 回填 (backfilling) 外 的 作业 调度 是 当前 超 算 中 心 的 方法 ， 此 类 方法 相对 于 文献 [6,7] 等 提出 的 预测 方法 更 容易 操 
核心 调度 算法 之 一 。 传 统 回 填 算法 是 在 先 来 先 服务 (FCFS) 作 。Tsafrir 等 人 外 提出 的 朴素 预测 算法 生成 的 时 间 相 对 用 户 
的 基础 上 将 小 作业 回填 到 空 亲 CPU， 以 提高 CPU 利用 率 。 直接 给 出 的 估计 ， 其 准确 程度 有 显著 提升 。 文 献 [8] 针 对 用 户 
算法 是 以 队列 作业 所 需要 的 CPU 数量 为 条 件 ， 对 于 满足 条 件 提交 作业 的 行为 模式 进行 聚 类 ,与 已 有 的 预测 算法 相 比 预测 
的 作业 又 需要 以 待 回填 作业 的 执行 时 间 为 衡量 标准 ， 只 有 同 精度 可 以 提高 5.6%， 同 时 将 计算 花费 的 时 间 减 少 到 3.896 。 文 
时 满足 这 两 个 条 件 的 作业 才能 够 回填 ， 这 就 需要 估计 每 个 作 献 [17] 提 出 一 种 基于 自 组 织 映 射 的 运行 时 间 预 测 方法 ， 该 方 
业 的 执行 时 间 ， 即 作业 预 估 执行 时 间 。 法 预测 精度 优 于 基于 实例 的 学 习 和 统计 平滑 。Tran SE AU 
般 调 度 系统 中 作业 预 估 执 行 时 间 由 用 户 提 供 ， 从 文献 出 的 模板 预测 方法 是 当前 最 先进 的 算法 , 在 降低 作业 低估 率 
[4,5] 中 的 研究 表明 ,用 户 提 供 的 作业 预 估 时 间 与 作业 真实 执 的 同时 ， 相 对 于 文献 [6] 的 平均 绝对 误差 (MAE) 改 进 了 20% 以 
行 时 间 有 很 大 的 误差 。Chiang 等 人 10420 指 出 ， 在 使 用 高 性 能 E. 
可 填 策 略 时 ， 预 测 的 准确 性 会 对 调度 性 能 产生 较 大 影响 ,此 目前 已 有 的 工作 上 5923 都 是 通过 对 作业 日 志 的 离线 分 
即 意味 着 更 准确 地 执行 时 间 估 计 可 以 显著 提高 调度 系 统 的 "E 析 得 到 预测 的 执行 时 间 ， 本 文 将 基于 历史 数据 在 线 预测 作业 
能 009。 文 献 [16] 研 究 了 在 网 格 环境 下 让 用 户 在 提交 作业 之 前 执行 时 间 。 
精确 的 预测 作业 执行 时 间 。 
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性 值 和 具体 存储 方式 ,并 给 出 了 由 多 个 超 算 中 心 提供 
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2.1 相似 作业 搜索 


基于 实例 的 学 习 算法 来 预 ; 
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使 用 遗传 算法 动态 地 定义 模板 ， 即 选择 那些 能 最 好 的 定义 相 
下 为 模板 。Tsafrir 等 
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Tran 等 人 中 把 分 类 和 基于 实例 的 学 习 方 法 结合 在 一 起 ， 


一 个 相似 度 函 数 来 度量 作业 的 相似 性 ， 
1 的 影响 等 因素 。Tran 的 实验 结果 表明 
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个 集合 。 例 如 ， 如 果 模 板 为 { 用 户 名 ， 队 列 名 } 时 ， 当 两 个 作业 


、j 表示 这 四 个 属性 。 
四 个 属性 ,可 以 形成 包括 空 模板 在 内 的 16 个 不 同 模板 用 于 


时 ， 本 文 认 为 这 两 个 作业 是 模板 
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时 间 ; a 和 8 是 加 权 因 子 。 具体 取 值 方法 将 在 2.3 节 中 讨 Fines - ZP -RI DR 0) 

论 。 z gü-Pu* 

23 在 线 参 数 训练 其 中 :Pi 和 Ri 分 别 是 第 i 个 作业 对 应 的 预测 时 间 和 实际 执行 
根据 2.1 和 2.2 节 所 示 , 为 了 获得 作业 J 的 执行 时 间 , 有 mim]. PU 是 低估 作业 数 占 总 作业 数 的 百分比 。 对 遗传 算法 

以 下 几 个 参数 需要 确定 : 设置 适当 的 种 群 规模 populations 和 迭代 次 数 generations, fi 
a) 模板 相似 中 的 最 佳 模 板 ; 算法 达到 收敛 或 次 数 终止 即 可 产生 一 组 最 优 的 模型 参数 。 
b) 作业 集 的 大 小 Ns 2.2 节 提 到 的 执行 时 间 预 测算 法 给 出 该 批 次 作业 执行 时 间 的 
c) S HKD K; TAW È- 
d) 因子 a 和 因子 B. 随 着 下 一 批 作业 的 到 达 ，HistSet、TrainingSet 和 TestSet 
本 文中 对 应 的 四 个 模板 属性 值 用 x/、 x2、 训 、 泡 表 示 ， 测试 集 在 日 志 中 均 向 后 移动 tz 条 作业 日 志 , 开始 下 一 批 作业 


若 ”=7， 则 相应 属性 将 被 加 入 到 模板 中 ; 反之 ， 如 果 xi=0， 则 的 预测 。 
从 模板 中 删除 。 在 使 用 遗传 算法 训练 作业 参数 时 ， 需 要 对 遗传 算法 设置 

为 了 更 好 地 利用 超 算 日 志 的 局 部 信息 ， 获 得 最 佳 的 预测 。 相关 的 参数 。 表 1 是 本 文通 过 多 轮 实验 选择 的 一 组 最 佳 的 遗 
效果 ,本 文采 用 批 处 理 的 方式 在 线 训练 多 组 参数 。 每 批 日 志 ” 传 算法 相关 参数 。 对 比 其 他 相关 参数 组 合 (h，ty，t2) 如 (5000， 
分 为 历史 数据 集 HistSet (h 条 作业 日 志 )、 训 练 集 TrainingSet ”2000，1000) 或 (3000，1500，500) 的 训练 结果 ， 本 文 发 现 增 大 
(ty 条 作业 日 志 ) 和 测试 集 TestSet (2 条 作业 日 志 )。 历 史 数据 集 ”HistSet 和 TrainingSet 的 规模 ， 或 者 降低 每 轮 预测 作业 的 数量 
包含 该 批 次 训练 中 可 检索 的 历史 作业 ,更 早 提交 的 作业 对 该 “对 降低 低估 率 和 提升 预测 精度 没有 帮助 。 遗 传 算法 在 迭代 次 
批 次 不 可 见 。 在 训练 集中 ,使 用 遗传 算法 针对 参数 集 (x1, x2， ” 数 达 到 100 时 结束 训练 , 这 是 由 于 设置 较 小 的 迭代 次 数 
x3, x4, N, K, a, BP) 进 行 训练 ， 训练 目标 是 减少 作业 的 预测 误差 (generations=50) 不 能 使 作业 参数 收敛 到 全 局 最 优 。 而 较 大 的 
和 降低 执行 时 间 低 估 数 量 。 在 遗传 算法 中 , 选择 如 下 适应 度 ”迭代 次 数 (generatiozrs=200) 对 预测 性 能 没有 明显 的 改善 ， 且 


函数 : 系统 需要 更 长 的 时 间 训 练 参数 。 
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图 1 用 户 估计 时 间 和 真实 执行 时 间 分 布 
Fig.1 Distribution of users estimated time and actual execution time 
"p: HPC2NO5 两 个 历史 数据 集 。SDSC02 fll SDSCOA 分 别 截取 了 
3 ”数值 实验 结果 2002 年 全 年 的 数据 和 2004 年 到 2005 年 的 13 个 月 的 数据 。 
为 了 方便 与 文献 文献 [1] 中 的 结果 对 比 (下 文 记 为 Minh) ， ”这 四 个 调度 历史 日 志 显 示 了 不 同 集群 在 不 同 的 时 间 段 作业 # 
本 文 使 用 文献 [18] 中 提供 的 北 瑞典 高 性 能 计算 中 心 的 HPC2N 行情 况 的 细节 。 
日 志和 圣地亚哥 超级 计算 机 中 心 的 SDSC 日 志 的 调度 历史 数 d 2 显示 了 四 个 日 志 的 基本 信息 。 文献 [1] 对 四 个 日 志 进 
据 进 行 实 验 。 将 HPC2N 日 志 按 年 份 划分 为 HPC2N04 和  ” 行 了 清洗 。 本 文保 留 全 部 有 效 的 作业 ， 因 此 处 理 的 作业 数量 


录用 定稿 HEIL, Si 基于 调度 历史 数据 在 线 预测 作业 执行 时 间 
比 文献 [1] 多 。 而 在 回填 系统 中 ， 


图 1 给 出 了 四 个 数据 集 的 用 户 信 计时 间 和 实际 执行 时 |] 


9 


的 概率 累积 分 布 (CDF)。 该 图 描述 了 作业 的 预 估 时 长 和 真人 


时 长 落 在 任 一 时 长 区 间 内 的 概率 。 在 每 个 数据 集 上 ,相同 的 
概率 密度 对 应 的 真实 运行 时 间 远 小 于 用 户 估计 时 间 ， 这 说 明 
了 用 户 普遍 高 估 了 作业 的 运行 时 间 。 由 于 作业 执行 时 间 变 化 
较 大 ， 本 文 对 时 间 轴 做 了 对 数 处 理 。 
从 图 1 可 以 看 出 , SDSC02 fll SDSCOA 的 用 户 估 计时 间 非 
常 不 准确 ， 真实 时 间 的 分 布 较 光 滑 而 用 户 预 估 时 间 呈 阶梯 状 
分 布 ， 说 明 用 户 给 出 的 预 估 时 间 比 较 粗 略 , 许多 用 户 选 择 ] 
相同 的 估计 时 间 。 
表 1 遗传 算法 相关 参数 设置 


Table 1 Parameter settings for genetic algorithm 


高 估 的 作业 仍然 比 低估 更 好 ,被 高 估 的 作 
业 不 会 被 系统 杀 死 。 预 测 器 还 要 防止 过 高 的 估计 增加 预测 误 
ži, 为 此 本 文 在 式 (6) 中 使 用 用 户 估 计 作 为 预测 的 上 限 ， 从 而 
有 效 地 降低 训练 误差 。 
3.2 平均 绝对 误差 
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平均 绝对 误差 的 结果 见 表 4。 
表 3 低估 率 
Table 3 Percentage of underestimated jobs 
数据 集 Minh 本 文 
HPC2N04 3696 2996 
HPC2NO05 3196 4096 
SDSCO2 25% 31% 
SDSC04 29% 31% 


参数 名 参数 值 
h 3000 
t 1500 
t2 1000 
populations 50 
generations 100 


表 2 使 用 的 超 算 日 志 
Table 2 Used super computing log 


表 4 平均 绝对 误差 (单位 : 秒 ) 


Table 4 Mean absolute error (in minites) 


数据 集 Minh 本 文 与 Minh 相 比 
HPC2N04 9360 5314 43% 
HPC2N05 26280 6130 77% 

SDSC02 1842 1839 196 
SDSCO2 2886 4325 096 


作业 数 文献 [1] 使 用 的 作 本 文 使 用 的 作 


日 志 名 ”提交 日 期 


量 业 业 
HPC2N042004/01-2004/12 81934 81113 81934 
HPC2N052005/01-2006/01 55389 55389 55839 
SDSCO2 2002/01-2002/12 100000 80756 80756 
SDSCO4 2004/03-2005/03 84893 66743 66743 


HPC2N04 和 HPC2NOS 的 情况 稍 好 一 些 , 但 作业 执行 
寺 间 仍然 普遍 被 用 户 高 估 。 需 要 注意 的 是 ，SDSC02 和 


rH 


而 HPC2NO4 和 HPC2NO5 的 作业 真实 执行 时 间 最 大 不 超过 
106s ( 约 12 d), Almi HPC2NO4 和 HPC2NOS 的 用 户 估 计 误 差 
可 能 更 大 。 
本 文 使 用 平均 绝对 误差 (MAE) 来 度量 预测 的 精确 度 ， 
N 个 作业 的 平均 绝对 误差 计算 如 下 : 


wap - 245-RI (8) 


其 中 :Pi 和 Ri 分 别 是 第 个 作业 对 应 的 预测 时 间 和 实际 执行 
时 间 。 
对 低估 问题 , 因 本 文 算法 的 目标 是 尽 可 能 地 减少 被 低估 
的 作业 数量 ， 所 以 使 用 低估 作业 占 所 有 作业 的 百分比 来 度量 
低估 问题 。 作 业 的 低估 率 定义 如 下 : 

py 24/08 «R) 


n 


(9) 


其 中 :ICOPi<Ri) 定 义 为 


LB«R 


OPR (10) 


I(E <R,)= ls 


3.1. 相似 作业 搜索 

在 采用 回填 策略 的 调度 系统 中 ,低估 会 导致 对 系统 性 能 
的 不 利 影响 。 因 此 ,预测 应 尽 可 能 多 地 减少 低估 的 作业 数 。 
AR 3 显示 的 低估 率 上 看 ， 本 文 的 预测 结果 与 文献 [1] 结 
Ar. 同时 文献 中 提 到 , 将 任务 分 为 大 任务 和 小 任务 能 


效 的 降低 低估 率 , 但 是 本 文中 没有 按照 任务 的 大 小 进行 分 类 ， 


预测 的 作业 数 更 多 应 是 导致 低 佑 率 略 高 的 原因 。 
减少 被 低估 的 作业 数量 肯定 会 增加 高 估 的 作业 数量 。 然 


SDSC04 作业 的 真实 执行 时 间 一 般 不 超过 109 s( 约 为 1d 时 间 )， 


从 表 4 可 以 看 出 , 大 多 数 情况 下 本 文 的 预测 结果 明显 优 
结果 。 主 要 原因 是 本 文采 用 了 不 同 的 距离 函 
E 离 函数 ,， 式 〈3) 更 能 表达 两 个 
基于 该 距离 函数 ,本 文 也 在 牺牲 一 部 分 低 佑 
的 分 类 ， 从 而 减少 了 遗传 算法 


于 文献 [1] 的 预测 
数 ( 式 3)。 相 较 于 文 [1] 中 的 昌 
作业 的 相似 性 。 
率 的 前 提 下 避免 了 
训练 的 参数 个 数 。 此 外 ， 本 文采 用 
志 到 达 的 顺序 生成 预测 ， 
在 SDSC04 数据 集 上 ， 本 文 方法 预测 误差 相对 较 大 。 
图 1 可 以 看 出 , SDSC04 作业 真实 时 间 分 布 较 光 滑 , 缺乏 从 
史 数据 中 学 习 真实 扫 行 时 间 的 


对 作业 大 小 


在 线 批 处 理 的 方式 按照 日 


的 预测 效果 。 


对 较 大 ,本文 基于 HPC2N0 


更 好 地 利 


规律 性 。 对 本 文 的 预测 算法 
阶梯 形 的 真实 执行 时 间 分 布 的 日 志 更 容易 取得 


1 了 实时 信息 。 


Es ies 


虽然 本 文 获得 的 结果 相对 文献 [1] 较 好 ,但 绝对 误差 仍 相 
4 中 的 部 分 作业 ,对 其 预测 的 绝对 


误差 进行 了 初步 分 析 ， 从 而 为 今后 算法 的 改进 提供 参考 。 


2 给 出 


Pup ELE SI. 


3 NE ini 


了 


9 000 个 作业 绝对 误差 的 累积 分 布 图 。 从 图 
80% 的 绝对 误差 是 小 于 1000 s 的 ， 20% 左 右 的 
色 对 误差 相对 较 大 ， 因 此 , 今后 可 以 分 析 以 上 20% 作 业 的 特 


DS 


对 误差 。 


是 ， 针 对 这 些 特 征 再 进行 算法 的 改进 ， 以 进一步 降低 平均 绝 


从 图 3 可 以 看 出 ， 随 着 预测 作业 数 的 增加 ， 平 均 绝对 误 
差 的 基本 趋势 是 在 增加 , 在 图 
能 出 现 了 一 些 特 殊 的 作业 ,这些 作业 的 绝对 误差 突然 增加 导 


致 平均 误差 的 增加 ， 

过 减 小 这 些 作 业 

均 绝 对 误差 在 作业 数 较 少 的 时 候 相 对 较 低 (这 在 其 他 的 作业 
f] 

H 

新 


FP 也 有 类 似 现象 ) ， 


新 的 参数 去 适应 新 的 


中 


有 绝对 误差 跃升 的 现象 ， 可 


< 


今后 可 以 通过 分 析 这 些 作 业 的 特征 ， 通 


的 预测 误差 来 减 小 总 体 误差 。 另 一 方面 , 平 


分 析 其 原 


因 是 遗传 算法 只 针对 固定 数 
的 历史 数据 进行 训练 ， 随 着 测试 集 的 加 入 ， 可 能 需要 训练 


3.3 ”对 作业 调度 的 影响 


FE 业 ， 这 也 是 今后 改进 的 方向 之 一 。 


下 面 的 实验 通过 模拟 日 志 数 据 集 中 作业 的 调度 与 执行 来 量化 


评价 本 文 的 预测 算法 对 作业 调 


度 的 影响 。 实 验 使 用 开源 批 


调度 模拟 器 pyss 进行 基于 


数据 集 进行 记 


通过 分 析 不 


il 


志 的 模拟 。 本 文选 择 基 于 回 
填 的 调度 策略 EASY 和 EASY-SJBF 对 本 节 提 到 的 四 个 日 志 
Fr. H 


周 度 策 略 和 不 同系 统 上 的 
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录用 定稿 


志 数 据 集 得 到 的 实验 结 
调度 具有 有 益 的 影响 。 


许 伦 凡 ， 等 : 基于 


， 可 以 表明 本 文 的 预测 算法 对 作业 


6 0.85 
o 


一 一 一 一 一 
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 
Absolute Error 


图 2 绝对 误差 的 累积 分 布 函数 
Fig.2 The CDF of absolute error 


MAE 
z 
Ei 


10 50 90 130 170 polt 

图 3 平均 绝对 误差 随 作 业 数 变化 情况 

Fig.3 | MAE with different job counts 

在 调度 策略 EASY 和 EASY-SJBF 下 , 回填 的 作业 只 要 保 

证 不 会 延迟 等 待 队 列 的 第 一 个 作业 的 执行 。 EASY 按照 先 来 

先 服务 的 原则 选择 可 回填 的 作业 ,而 EASY-SJBF 则 优先 满 

足 短 作 业 的 回填 。 
文献 [2H] 指 出 ， 作 业 调 度 的 性 能 五 
a) 平均 等 待 时 间 (AVEwai?)。 作业 j 的 用 户 等 待 时 间 是 从 

作业 提交 时 刻 submit; 到 作业 j 的 开始 时 刻 start; 之 间 的 时 间 

段 ， 即 


250 290 330 370 410 450 490 


以 用 以 下 两 个 目标 函 


wait; = start; — submit; (4 
等 待 时 间 越 短 说 明 作业 越 早 开始 执行 , 提交 此 作业 的 
户 对 调度 越 满意 。 所 有 作业 的 平均 等 待 时 间 能 够 反映 整体 性 


at 
HE o 


[um 
— 


T 


r 


AVEwait = lY Gan, —submit;) (12) 
n 


b) 平均 有 界 减 速 (4VEDs1DP2231。 计 算 作 业 j 的 响应 比 ， 
同时 考虑 作业 等 待 时 间 waiiy 和 作业 执行 时 间 runtime; 两 个 方 


看 。 设 置 常 量 r=710s 避免 短 作 业 的 响应 比 过 大 ,不 能 反映 调 
度 性 能 。 
mr zi wait; + TUE) a) (13) 
max(runtime;,T) 


该 目标 值 称 为 作业 j 的 有 界 减速 。 同 样 可 以 定义 平均 边 
界 减 速 ， 降 低 平 均 有 界 减 速 可 以 提高 系统 的 整体 性 能 。 
wait; — runtime 


AVEbsld = : Yomaxt L1) (14) 


n3 max(runtime;,7) 
函数 从 用 户 角度 评估 调度 的 性 能 。 对 给 定 的 四 


两 个 目标 E 


调度 历史 数据 在 线 预 测 作 业 执 行 时 间 
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组 调度 历史 日 志 , 本 文 首 先 使 用 用 户 提供 的 作业 预 估 时 间 
pyss 下 进行 调度 模拟 ,将 模拟 结果 的 平均 等 待 时 间 和 平均 
界 减速 作为 基础 ， 然 后 使 用 上 节 的 预测 结果 作为 预 估 时 间 
行 模拟 , 与 基础 结果 比较 相应 的 目标 函数 值 。 

表 5 使 用 用 户 估计 和 本 文 算法 预测 时 间 的 4AVEwair 比较 


Table 5 Comparison of avewait with users estimated and the proposed 


EER 


d 


prediction algorithm 


志 调度 策略 ”使 用 用 户 估计 使 用 预测 时 间 相对 改进 
HPC2N04 EASY 321.61 187.15 41% 
HPC2N04 EASY-SJBF 287.27 173.57 40% 
HPC2N05 EASY 723.57 439.52 40% 
HPC2N05 EASY-SJBF 717.34 394.70 45% 
SDSC02 EASY 188.10 98.53 48% 
SDSC02 EASY-SJBF 138.24 77.08 44% 
SDSC04 EASY 167.46 58.98 45% 
SDSC04 EASY-SJBF 153.28 51.59 65% 

表 6 使 用 用 户 估 计 和 本 文 算法 预测 时 间 的 AVEbsid 比较 


Table 6 Comparison of avebsld with users estimated and the proposed 


prediction algorithm 


志 名 ”调度 策略 ”使 用 用 户 估计 使 用 预测 时 间 相对 改进 
HPC2N04 EASY 150.24 57.02 62% 
HPC2N04 EASY-SJBF 131.94 50.74 62% 
HPC2N05 EASY 389.36 219.18 44% 
HPC2N05 EASY-SJBF 394.05 194.44 51% 
SDSCO2 EASY 52.91 28.46 46% 
SDSC02 EASY-SJBF 26.13 15.94 39% 
SDSC04 EASY 62.63 22.52 64% 
SDSC04 EASY-SJBF 46.98 15.63 67% 

从 表 5 和 6 的 实验 结果 可 以 看 出 , 使 用 本 文 算法 的 预测 


时 间 在 两 种 调度 策略 和 四 个 日 志 数 据 集 上 都 能 够 显著 降低 平 
均等 待 时 间 和 平均 有 界 减速 ， 有效 地 提高 了 调度 系统 的 服务 
质量 , 减少 了 资源 的 空闲 。 

EASY-SJBF 由 于 选择 优先 回填 短 作业 ， 相 比 EASY 取得 
了 更 低 的 AVEwait 和 AVEbsld, 但 两 种 调度 策略 对 AVE-wait 
和 AVEbsld 的 相对 改进 是 接近 的 。 使 用 预测 时 间 对 AV-Ebsld 
的 改进 更 大 ,同时 也 能 稳定 的 降低 AVEwait。SDSC04 是 相对 
改进 最 显著 的 日 志 , 在 两 种 调度 策略 下 AVEbsld 的 相对 改进 
均 超 过 6096. 
调度 仿真 的 结果 说 明了 对 于 采用 回填 的 调度 系统 ， 本 文 
的 预测 能 够 有 效 提高 调度 性 能 ， 即 准确 的 预测 有 益 于 作业 调 
度 。 


4 ARA 


超 算 中 心中 作业 调度 的 性 能 是 影响 超 算 系统 使 用 率 的 重 
要 因素 之 一 ， 当 前 基于 回填 的 调度 是 各 超 算 中 心 主要 使 用 的 
乍 业 调 度 策 略 。 在 基于 回填 的 调度 中 ， 作 业 的 预 估 执 行 时 间 
是 能 否 将 作业 进行 回填 的 主要 判断 条 件 ， 而 能 否 精确 地 预测 
作业 的 执行 时 间 会 影响 调度 的 性 能 。 本 文 给 出 了 一 种 结合 分 
类 和 基于 实例 学 习 的 在 线 作业 性 能 预测 算法 ， 首 先 使 用 针对 
作业 历史 数据 中 的 七 个 不 同属 性 值 进行 相似 作业 的 搜索 ， 然 
后 利用 其 中 三 个 数值 属性 值 计算 得 到 估计 时 间 。 针 对 算法 中 
使 用 到 的 八 个 参数 ， 本 文 使 用 遗传 算法 进行 最 优 值 的 搜索 。 
数值 实验 表明 ， 相对 于 文献 []， 本 文 使 用 了 更 少 的 参数 获得 
了 相近 的 低估 率 ， 并 得 到 了 更 低 的 平均 绝对 误差 。 

本 文 对 误 SARET TIDRA, 指出 了 若干 改进 


录用 定稿 
的 方向 。 今 后 将 结合 机 器 学 习 ， 训练 学 习作 业 调 度 历史 数据 
中 作业 的 更 多 细节 特征 ， 以 获得 更 好 的 预测 效果 。 本 文 还 使 
用 预测 时 间 进 行 了 调度 仿真 ,使 回填 算法 的 调度 性 能 得 到 改 
进 ， 下 一 步 还 要 结合 其 他 调度 策略 进一步 探索 在 线 执行 时 间 
预测 对 调度 的 影响 。 
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